Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards
提问、求解、生成：基于自洽奖励的自我进化统一多模态理解与生成
🧭 自我进化 · 统一多模态理解与生成
Mohamed bin Zayed University of Artificial Intelligence · Aalto University · Australian National University · Linköping University
仅用无标签图像，通过内部提问-求解-生成的自洽信号同时提升多模态理解与生成能力的自进化框架
📌 工作参考价值（4 点）
- 无标注自训练范式：利用自洽奖励信号（问答一致性）微调多模态模型，大幅降低电商商品图文理解/生成任务的标注成本，适合海量未标注商品图片场景。
- 熵引导的难度课程：Solver Token Entropy（STE）可作为连续难度指标，在模型训练中实现自适应课程学习，优先选择信息量大的样本，提升训练效率与稳定性。
- 多尺度生成评估：组合问答保真度评分与循环一致性描述的内部评估方案，可迁移到商品图生成的质量自动评分，无需人工审核。
- 架构无关的设计模式：角色分解与奖励逻辑在不同生成架构（扩散/整流流/自回归）上即插即用，方便接入现有多种多模态模型底座。